General Preference Reinforcement Learning
通用偏好强化学习
🧭 多维偏好在线RL · 抗reward hacking ★ 深度解读
Stanford University · The University of Oklahoma · Independent Researcher
用多维度偏好嵌入与漂移控制实现在线RL的开放任务对齐，无需标量奖励
📌 工作参考价值（4 点）
- 在推荐系统的多目标优化（如点击率、转化率、多样性）中，可借鉴GPM的k个子空间独立建模不同指标，采用per-dimension组相对优势归一化，防止单一指标主导梯度，避免信息茧房或过度商业化。
- 漂移监控器可复用到多任务RL：跟踪各目标方差份额，当某维度过度集中时自动降低其权重并收紧策略约束（如KL惩罚），实现动态平衡，无需外部验证信号。
- 向量化的奖励结构能天然抑制单轴投机：只有在所有维度共同改善时优势才增加，这一性质可直接应用于拒止推荐策略的“作弊”行为。
- 工程上，GPRL直接替换现有GRPO管线，仅需冻结一个偏好模型提供多维分数，计算开销与标量RM相当，适合大规模在线学习场景。